Point Piper dinamakan sempena Kapten John Piper (1773–1851). Piper adalah pegawai keturunan kelahiran Scotland dengan keibubapaan Cornwall, yang tiba di jajahan pada tahun 1792 dan membina sebuah rumah besar neo-Palladian pada ketika itu, pada 190 ekar (0.77 km2) tanah yang diberikan oleh gabenor pada tahun 1816. Setelah meninjau prestasi Piper sebagai ketua Jabatan Kastam menunjukkan bahawa dia mempunyai salah urus dana (walaupun dia sebenarnya tidak dituduh sebagai rasuah), Piper cuba menenggelamkan dirinya di Sydney Harbour. Dia kemudian menjual sahamnya di Point Piper, Rose Bay, Neutral Bay, dan Petersham dengan harga £ 5,000 dan berpindah ke negara ini.

Pada tahun 1834, bekas kediaman Piper disewa oleh Kolonel John George Nathaniel Gibbes (1787-1873), Pemungut Bea Cukai untuk New South Wales yang baru tiba dan seorang mahkota yang dilantik ke Majlis Perundangan tanah jajahan. Kolonel Gibbes dan keluarganya tinggal di Point Piper House (juga dikenal sebagai "Henrietta Villa" atau "Naval Villa") hingga 1844, ketika mereka pindah ke Wotonga, di Kirribilli Point. Wotonga kini menjadi sebahagian daripada Admiralty House. Point Piper House akhirnya diruntuhkan pada tahun 1850-an dan laman web ini dibangunkan semula.[4]